Colson sinh ngày 16 tháng 10 năm 1931 tại Boston, Massachusetts, con trai của Inez "Dizzy" (nhũ danh Ducrow) và Wendell Ball Colson.[4] Cậu mang hai dòng máu Anh và Thụy Điển.[5] Trong Thế chiến II, cậu đứng ra vận động gây quỹ trong trường học nhằm kiếm đủ tiền mua một chiếc xe Jeep cho Quân đội Hoa Kỳ.[6] Năm 1948, Colson hoạt động tình nguyện cho chiến dịch tái cử của Thống đốc tiểu bang Massachusetts lúc ấy, Robert Bradford.

Colson theo học tại Đại học Brown, và nhận văn bằng cử nhân ưu hạng năm 1953, rồi học vị tiến sĩ luật (J.D.) tại Đại học George Washington năm 1959.

Colson phục vụ trong binh chủng Thủy quân lục chiến Hoa Kỳ từ năm 1953 đến năm 1955, lên đến cấp bậc đại úy.

Sau khi rời quân ngũ, Colson giữ nhiệm vụ phụ tá cho Phụ tá Bộ trưởng Hải quân. Năm 1956, ông nhận làm Phụ tá hành chính cho Thượng nghị sĩ Leverett Saltonstall. Năm 1961, Colson làm việc cho công ty luật Gasby và Hannah.